PCT 



ORGANISATION MONDIALE DE LA PROPRIETB INTELLECTUELLE 
Bureau intcmauonal 



DEMANDE INTERNATIONALE PUBLIEE EN VERTU DU TRAITE DE COOPERATION EN MATTERS DE BREVETS (PCT) 



(51) Classification Internationale des brevets 6 : 
G08B 21/00 



(21) NumeVo de la demande Internationale: PCIYFR99/00060 

(22) Date de depot International: 14 janvier 1999 (14.01.99) 



Al 



(11) Numero de publication internationale: WO 99736894 
(43) Date de publication internationale: 22 juillet 1999 (22.07.99) 



(30) Donnees relatives a la priorite*: 

98/00378 15 janvicr 1998 (15.01.98) 



FR 



(71) Deposant (pour tous les Etats disignh sauf US): CARLUS 
MAGNUS LIMITED [GB/GB1; Victoria House, Main Street 
(GI). 

(71)(72) Deposant et Inventeur: PIRIM, Patrick [FR/FR]; 56, rue 
Patay, F-75013 Paris (FR). 

(74) Mandataires: PHELIP, Bruno etc.; Cabinet Harle" & Ph61ip, 7, 
rue de Madrid, F-75008 Paris (FR). 



(81) Etats designes: AL, AM, AT, AU, AZ, BA, BB, BG, BR, BY, 
CA, CH, CN, CU, CZ, DE, DK, EE, ES, FI, GB, GD, GE, 
GH, GM, HR, HU, ID, IL, IN. IS, JP, KE, KG, KP. KR, 
KZ, LC, LK, LR, LS, LT, LU, LV, MD, MG, MK, MN, 
MW, MX, NO, NZ, PL, PT, RO, RU, SD, SE, SG, SI, SK, 
SL, TJ, TM, TR, TT, UA, UG, US, UZ, VN, YU, ZW, 
brevet ARIPO (GH, GM, KE, LS, MW, SD, SZ, UG, ZW), 
brevet eurasien (AM, AZ, BY, KG, KZ, MD, RU. TJ, TM), 
brevet europeen (AT, BE, CH, CY. DE, DK, ES, FI, FR, 
GB, GR, IE, IT, LU, MC, NL, PT, SE), brevet OAPI (BF, 
BJ, CF, CG, CI, CM, GA, GN, GW, ML, MR, NE, SN, 
TD, TG). 



Publiee 



Avec rapport de recherche internationale. 



(54) Title: METHOD AND DEVICE FOR DETECTING DROWSINESS AND PREVENTING A DRIVER OF A MOTOR VEHICLE 
FROM FALLING ASLEEP 

(54)Titre: PROCEDE ET DISPOSITTF POUR DETECTER ET PREVENIR L'ENDORMISSEMENT DU CONDUCTEUR D'UN 
VEHICULE AUTOMOBILE 



(57) Abstract 

The invention relates to a method and device using an 
optoelectronic sensor (10) in combination with an electronic 
unit (19), in accordance with French patent application no. 
96.09420, filed on 26 July 1996 and International patent 
application (PCT) PCT/FR97/01354 filed on 22 July 1997, 
arranged inside the motor vehicle. The sensor is adjusted 
in line with the head of the driver sitting in said motor 
vehicle at the same time as the inner rear-view mirror, 
which comprises a one-way mirror (9) behind which the 
sensor (10) is positioned. After detecting the presence of a 
driver seated in the motor vehicle they frame first the whole 
face and men the eyes of the driver in the video signal 
raster emitted by the sensor (10) aided by the electronic 
unit (19) and then determine the successive durations of 
blinking episodes, which are compared with a limit value 
situated between one duration typical of an awake person 
and another duration typical of a drowsy person. A signal 
(transmitted by an alarm unit 22) suitable for waking the 
driver is triggered when the duration of blinking exceeds the limit. 
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(57) Abreg6 

Le pn>ced6 et le dispositif selon .'invention mettent en oeuvre un ensemble ^X^Tf^SJipC^^^Si 
i«n u£*»nto rfr hrevetftancais N* 96 09420 deposee le 26 juillet 1996 et la demande de brevet international (P.GT.) PCT/HW7/ui.m 
SStilt S M-uSdV^hicute auEmobile, le capteur tot orient* vers la *te du concur en place dans 
ceE en m&ne tonpTqVe Tnitroviseur intdrieur qui comporte un miroir sans tain (9) derriere lequel est depose" le capteur (10). fls 

duree de scs clignements dfoasse ledit scuil. . 
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PROCEDE ET DISPOSITTF POUR DETECTER ET PREVENIR L'ENDORMISSEMENT DU CONDUCTEUR D'UN 
VEHICULE AUTOMOBILE 

La presente invention a pour objet un precede et un dispositif pour surveiller en 
continu l*6tat de vigilance du conducteur d'un vehicule automobile, afin de detecter et 
prevenir une tendance eventuelle k 1'endormissement de celui-ci. 

On sait qu'une proportion non negligeable, sinon importante, des accidents, sur 
5 route resultent de 1'endormissement, total ou partiel (somnolence), du conducteur d'un 
vehicule automobile (auto particuliere, auto utilitaire, camionnette, camion), avec pour 
r&ultat de nombreux morts et blesses. 

On voit done Pinteret, humain et economique, a eviter rendormissement d'un con- 
ducteur en provoquant une alarme, notamment sonore, des que celui-ci tend k s'assoupir, 
10 afinde l'eveiller. 

Pour detecter la tendance a rendormissement d'un conducteur, on a propose sur un 
vehicule automobile 

- d'une part, de detecter la variation de l'actionnement du volant par un conducteur qui 
tend a s'endormir et 

15 - d'autre part, de detecter la variation des deplacements verticaux des paupieres d'un 
conducteur qui tend k s'endormir. 

La presente invention met en oeuvre une detection du second type (surveillance des 
deplacements des paupieres) et elle est basee sur une constatation physiologique, a savoir 
la modification de la duree des clignements des yeux, ainsi qu'eventuellement des inter- 

20 valles de temps entre deux clignements successifs, done la cadence des clignements, 
lorsqu'une personne passe de l'6tat 6veill6 a l'etat de somnolence precSdant 
1'endormissement de celui-ci : la duree des clignements d'ceil d'une personne est de Fordre 
de 100 a 200 ms (millisecondes) lorsqu'elle est eveiltee et de 1'ordre de 500 k 800 ms 
lorsqu'elle somnole, tandis que rintervalle de temps separant deux clignements successifs, 

25 qui est sensiblement constant k l'etat eveilie, varie dans une plage relativement large k 
l'etat somnolent. C'est la variation de la duree des clignements qui est essentiellement mise 
en ceuvre dans le cadre de l'invention. 

Le precede et le dispositif selon l'invention decelent l'augmentation de la durie des 
clignements des yeux du conducteur et ddclenchent une alarme, sonore ou autre, lorsque 

30 cette duree depasse un seuil determine, compris en particulier entre 200 et 500 ms, par 
exemple 6gal a 350 ms, ce seuil etant eventuellement modifiable en fonction de la 
physiologie du conducteur. 



FEUILLE DE REMPLACEMENT (REGLE 26) 
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Dans la demande de brevet francais N° 96.09420 dtposee le 26 juillet 1996 et la de- 
mande de brevet international (P.C.T.) PCT/FR97 /01354 deposee le 22 juillet 1997, en 
invoquant la priorite de ladite demande de brevet fran^ais, l'inventeur de ces deux 
demandes etant egalement I'inventeur de la presente invention, on a decrit un precede et un 
5 dispositif, fonctionnant en temps reel, pour le reperage et la localisation d'une zone en 
mouvement relatif dans une scene, ainsi que pour la determination de la vitesse et de la 
direction du deplacement. 

Parmi les applications envisagees de ce proc6d£ et ce dispositif on a decrit, dans 
lesdites demandes de brevet, la mise en oeuvre de ceux-ci pour ['observation et la 
10 surveillance d'une zone constitute par la tete d'un conducteur automobile, afin de detecter 
et prevenir l'endormissement de celui-ci. 

Selon cette application particuliere des procede et dispositif desdites demandes de 

brevet : 

- on produisait un signal video representatif, en temps reel, des images successives des 
1 5 yeux du conducteur ; 

- on traitait ce signal video pour, successivement et en continu, 

• detecter, dans l'image des yeux de ce conducteur, les deplacements verticaux des 
paupieres representatifs du clignement de celles-ci ; 

• determiner la cadence de ces deplacements verticaux et 

20 • reperer les cadences inferieures a un certain seuil, qui correspond sensiblement a la 
cadence de clignement a l'etat eveille du conducteur ; et 

- on declenchait une alarme en cas de franchissement de ce seuil vers le bas par lesdites 
cadences, afin d'eveiller le conducteur. 

La presente invention a pour objet des perfect ionnements aux precede et dispositif 
25 des demandes de brevet precitees, en ce qui concerne leur application a la surveillance 
d'un conducteur automobile, afin de d&ecter sa tendance iventuelle a rendormissement. 

Ainsi Particle de Hiroshi Ueno et al. intitule « Development of drowsiness detec- 
tion system », publie dans la revue de l'lnstitute of Electrical and Electronics Engineers 
(IEEE) du 31 aout 1994 pages 15-20, analyse les difKrentes techniques de detection de 
30 Tassoupissement du conducteur d'un vehicule automobile au volant. En particulier on 
mentionne la mise en oeuvre d'une camera video assoctee a un calculateur de traitement de 
l'image video, au moyen d'un logiciel realisant, d'une part, la detection du visage du con- 
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ducteur, notamment d'un rectangle englobant un oeil, et, d'autre part, du rapport 
des durees des yeux ouverts et des yeux fermes pour determiner des criteres 
d'endormissement. 

La demande de brevet allemand publiee DE 197 15519 et la demande de 
5 brevet frangais publiee correspondante n° 2.747.346 decrivent un appareil et un 
procede d'estimation du niveau de somnolence du conducteur d'un vehicule mettant 
en oeuvre une camera video disposee aux pieds du conducteur du vehicule et un 
calculateur de traitement de T image fournie par la camera, avec un logiciel qui 
detecte les clignements des yeux par determination du temps ecoule entre le debut 
10 et la fin des clignements. En particulier, une unite 10 du calculateur realise 

♦ la memorisation de I'image video et le traitement de celle-ci afin de determiner 
une region comprenant les yeux du conducteur, 

• la detection de Tintervalle de temps entre la fermeture des paupieres du 
conducteur et Touverture complete de celles-ci; et 

15 • un traitement dans une memoire 11 et une unite de calcul 22, en combinaison 
avec l'unite 10, afin de calculer un rapport d'apparition de clignements lents. 

La demande de brevet internationale publiee WO 97/01246 a pour objet 
un systeme de securite comportant une camera video disposee dans le retroviseur 
interieur d'un vehicule automobile et un ecran video deporte pour Tanalyse de ce 

20 qui se passe dans le vehicule et autour de celui-ci, ainsi que de ce qui s'est passe 
grace a renregistrement du signal video de sortie de la camera. II s'agit en fait 
d'une camera cachee (dans le retroviseur), afin d'echapper aux regards des intrus, 
et qui observe une aire etendue couvrant Tinterieur et l'environnement du vehicule, 
Tenregistrement permettant de reperer plus tard ce qui s'est passe dans cette aire 

25 (page 6, lignes 13 a 19), et non pas d'un capteur dont Tangle de vision est 
sensiblement limite au visage du conducteur afin de detecter son endormissement 
eventuel et provoquer son eveil. 

Ces documents anterieurs mettent en oeuvre une veritable camera video et 
un calculateur externe, la detection du clignement des yeux dans ledit article et , 

30 lesdites demandes frangaise et allemande requerant une unite complexe de 
traitement, tandis que ladite demande internationale ne rdsout pas le probleme de la 
detection de rendormissement. le conducteur s'il sommeille n'etant capable de 
regarder ni Fecran video, ni renregistrement des images vid£o. On voit done que 
ce document ne concerne pas le meme domaine technique que les deux documents 

35 precedents. 
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Par rapport a ces documents anterieurs, la presente invention realise une meilleure 
approche de la prise de mesure du clignement des yeux du conducteur ; en effet 

- elle permet de mettre en oeuvre dans le retroviseur du vehicule un simple capteur 
(eventuellement le capteur d'une camera video miniature), notamment un capteur MOS, 

5 qui n'est pas forc&nent au format video classique ; 

- elle realise un mouvemerit de Paxe optique du capteur lie au deplacement du 
retroviseur par le conducteur afin de diriger ledit axe vers le visage du conducteur ; 

- elle permet une perception visuelle integree, un circuit integre assurant une detection 
immediate des mouvements des paupieres ; 

10 - elle met en oeuvre un processeur tres simple pour le traitement des informations 
foumies par le capteur ; 

- elle permet ['integration possible dans une puce electronique (chip) du capteur, de 
P electronique associee a celui-ci et du calculateur, le tout dispose dans le retroviseur ; 

- elle donne la possibility d'associer une telle puce disposee a Pinterieur du retroviseur 
15 au processeur prevu dans le tableau de bord, le retroviseur constituant ainsi un appareil 

intelligent de detection de Pendormissement, d'un cout raisonnable du fait qu'il comporte, 
par rapport a un retroviseur interieur classique, simplement une puce et un dispositif 
mecanique d'orientation de cette puce supplemental. 

Dans ces conditions, Pinvention a tout d'abord pour objet un precede pour 
20 surveiller en continu Petat de vigilance du conducteur d'un vehicule automobile, afin de 
detecter et prevenir une tendance eventuelle a Pendormissement de celui-ci, 

qui consiste 

- a produire un signal video representati£ en temps reel, des images successives d'au 
moins le visage du conducteur ; 

25 - a traiter ce signal, successivement et en continu, pour 

• detecter, dans ce signal, la portion correspondant effectivement a Pimage de la tete 
du conducteur, 

• determiner la valeur d'un parametre relatif au clignement des paupi&res, qui se 
modifie notablement lors du passage de P&at eveille a Petat somnolent du 

30 conducteur de part et d' autre d'un seuil, et 

• reperer, en temps rdel, le franchissement, par la valeur de ce parametre, de ce seuil 
representatif du passage de Petat eveille a Petat somnolent du conducteur ; et 
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- a declencher, en reponse au franchissement de ce seuil, une alarme apte a reveiller le 
conducteur ; 

et qui est caracterise en ce que 

- d'une part, Ie signal video est produit en utilisant un capteur optoelectronique solidaire 
5 d'un retroviseur du vehicule automobile, dimensionne et dispose pour recevoir 

essentiellement I'image du visage du conducteur en place sur son siege et ayant son axe 
optique de reception des rayons lumineux dirige vers la tete du conducteur lorsque le 
retroviseur est correctement orient^ ; et 

- d'autre part, le traitement dudit signal video consiste, apres avoir detecte la presence du 
10 conducteur a sa place, a, successivement et en continu , 

• detecter, a partir d'une analyse des pixels en deplacement entre deux trames 
successives de meme nature dudit signal video, les deplacements horizontaux du 
conducteur, afin de cadrer le visage de celui-ci dans les trames correspondantes 
successives du signal video, 

15 • detecter, a partir d'une analyse des pixels en deplacement entre deux trames 
successives de meme nature dudit signal video, les deplacements verticaux dans le 
visage, ainsi cadre, du conducteur, afin de cadrer les yeux de celui-ci, 

• determiner, a partir d'une analyse des pixels en deplacement entre deux trames 
successives de meme nature dudit signal vid&>, les durees successives des 

20 clignements des yeux, ainsi cadres, de celui-ci, ces durees constituant le dit 

parametre, 

• comparer ces durees successives des clignements, ainsi determinees, a un seuil 
representatif du passage de 1'dtat eveill6 & l'etat somnolent du conducteur, et 

• declencher, lorsque les durees de clignement dtpassent vers le haut le dit seuil, une 
25 alarme apte reveiller le conducteur. 

Avantageusement ledit capteur est place dans le boltier du retroviseur derriere la 
glace de celui-ci qui est constitute par un miroir sans tain, l'axe optique de reception dudit 
capteur etant symetrique a un axe oriente dans le plan vertical median dudit vehicule, par 
rapport a un axe orthogonal au dit miroir sans tain. 
30 De preference, on detecte la presence du conducteur k sa place en determinant le 

nombre de pixels correspondants dans les trames successives de meme nature du signal 
video pour lesquels un deplacement significatif est detecte et en comparant ce nombre au 
nombre total de pixels par trame du signal video, afin de determiner si le rapport entre le 
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nombre de pixels representant un deplacement et le nombre total de pixels par trame 
depasse un seuil representatif du passage de Pabsence de conducteur a sa place a la 
presence d'un conducteur a sa place. 

Le precede peut, dans des modes de realisation preferes, comprendre en outre une 
5 ou plusieurs des caracteristiques suivantes : 

- entre les phases de detection des deplacements horizontaux, afin de cadrer le visage du 
conducteur, et de detection des deplacements verticaux, afin de cadrer les yeux de 
celui-ci, on prevoit une phase de cadrage large des yeux en se limitant a une portion du 
visage cadre englobant les yeux et leur environnement immediat, par application du 

10 rapport anthropometrique entre ladite portion et le visage entier d'une personne ; 

- simultanement a la phase de determination des durees de clignement des yeux, on 
prevoit une phase de determination des intervalles de temps separant deux clignements 
successifs de ceux-ci et on declenche une alarme renforcee des que ces intervalles de 
temps presentent une irregularite qui depasse un seuil determine ; 

15 - on reactualise en continu les donnees concernant au moins un des parametres suivants : 
deplacements horizontaux, deplacements verticaux, durees des clignements des yeux, 
intervalles entre clignements successifs, afin de perfectionner les approximations des 
valeurs normales de ces parametres pour le conducteur effectivement present et a Petat 
eveille ; 

20 - les differentes phases successives du procede sont realisees au moyen de programmes 
informatiques successifs portant sur le traitement des valeurs successives des pixels 
correspondants des trames de meme nature du signal vid£o obtenu a partir dudit 
capteur. 

La presente invention a egalement pour objet un dispositif pour surveiller en 
25 continu Petat de vigilance du conducteur d'un vehicule automobile, afin de detecter et 
prevenir une tendance eventuelle 4 rendormissement de celui-ci, qui met en ceuvre le 
procede susvise et qui est caracterise en ce qu'il comprend, en combinaison : 
a) un capteur optoelectronique, qui, en combinaison avec une &ectronique associte, 
elabore, en reponse a la reception de rayons lumineux, un signal vid6o a trames de 
30 meme nature, ou correspondantes, successives, ledit capteur 6tant solidaire d'un 
r&roviseur du vehicule automobile et dimensionne et dispose pour recevoir 
essentiellement l'image du visage du conducteur en place sur son siege et ayant son axe 
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optique de reception des rayons lumineux dirige vers la tete du conducteur lorsque le 
retroviseur est correctement oriente; et 
b) au moins un circuit integre comportant 

- des moyens pour detecter la presence du conducteur a sa place dans le vehicule, et pour 
5 elaborer un signal de presence ; 

- des moyens, actives par ce signal de presence, pour detecter, a partir d'une analyse des 
pixels en deplacement entre deux traraes successives de meme nature dudit signal 
video, les deplacements horizontaux de dit conducteur, afin de cadrer le visage de 
celui-ci dans les trames successives de meme nature dudit signal video, et pour ^laborer 

10 un signal de fin de cadrage de visage ; 

- des moyens, actives par ledit signal de fin de cadrage du visage, pour detecter, a partir 
d'une analyse des pixels en deplacement entre deux trames successives de meme nature 
de la portion des trames successives de meme nature dudit signal video correspondant 
au cadrage du visage, les deplacements verticaux dans le visage, ainsi cadre, du con- 

15 ducteur, afin de cadrer les yeux de celui-ci dans ladite portion des trames de ce signal, 
et pour elaborer un signal de fin de cadrage des yeux du conducteur ; 

- des moyens, actives par ledit signal de fin de cadrage des yeux, pour determiner, a 
partir d'une analyse des pixels en deplacement entre deux trames successives de meme 
nature de la portion des trames successives de meme nature dudit signal video corres- 

20 pondant au cadrage des yeux, les durees successives des clignements des yeux du con- 
ducteur ; 

- des moyens pour comparer ces durees successives des clignements, ainsi determinees, 
a un seuil reprdsentatif du passage de 1'etat eveille & P£tat somnolent du conducteur ; et 

- des moyens pour declencher, lorsque les durees des clignements d6passent ledit seuil, 
25 une alarme apte a reveiller le conducteur. 

Avantageusement, dans ledit dispositif, ledit capteur est place dans le boitier du 
retroviseur derriere le miroir de celui-ci, qui est un miroir sans tain, ledit capteur etant 
porte par une premiere extremite d'une premiere tige traversant, a travers une rotule, un 
etrier porte par le boitier du retroviseur, a l'interieur de celui-ci, la seconde extr6mit6 de 
30 cette tige etant articutee librement, au moyen d'un joint, i la premiere extremite d'une 
seconde tige traversant, & travers une rotule, le boitier du rftroviseur, tandis que la seconde 
extrfmite de ladite seconde tige est fix6e a la carrosserie du v&iicule au dessus du pare- 
brise, de maniere que l'axe optique de reception du dit capteur soit symetrique a un axe 
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oriente dans le plan vertical median dudit vehicule, par rapport a un axe orthogonal au dit 
miroir sans tain. 

De preference, lesdits moyens pour detecter la presence du conducteur a sa place et 
pour elaborer un signal de presence sont consumes par des moyens pour determiner le 

5 nombre de pixels dans les trames successives de meme nature dudit signal video pour 
lesquels un deplacement significatif est detecte, des moyens pour comparer ledit riombre 
au nombre total de pixels par trame du signal video, afin de determiner si le rapport entre le 
nombre de pixels correspondant a un deplacement et le nombre total de pixels par trame 
depasse un seuil representatif du passage de Petat d'absence de conducteur a sa place a 

10 P &at de presence d'un conducteur a sa place. 

Le dispositif peut, dans des modes de realisation preferes, comprendre en outre un 
ou plusieurs des moyens suivants, a savoir : 

- des moyens, actives par ledit signal de fin de cadrage du visage, pour selectionner, dans 
ladite portion des trames successives dudit signal video correspondant au cadrage du 

15 visage, une portion reduite correspondant a un cadrage large, ou grassier, des yeux du 
conducteur englobant les yeux et leur environnement immediat par application du 
rapport anthropometrique entre ledit cadrage large et le visage entier d'une personne et 
des moyens pour laborer un signal de fin de cadrage large des yeux, ce signal activant 
lesdits moyens pour detecter les deplacements verticaux dans le visage du conducteur ; 

20 - des moyens, fonctionnant en parallele avec lesdits moyens pour determiner les durees 
successives des clignements des yeux et done actives par ledit signal de fin de cadrage 
des yeux, pour determiner les intervalles de temps separant deux clignements 
successifs et pour declencher une alarme renforcee des que ces intervalles de temps 
presentent une irregularite qui depasse un seuil determine ; 

25 - des moyens pour reactualiser en continu les donnees concernant au moins un des para- 
metres suivants : deplacements horizontaux, deplacements verticaux, durees des cligne- 
ments des yeux, intervalles entre clignements successifs, afin de perfectionner les 
approximations des valeurs normales du parametre implique pour le conducteur 
effectivement present et a Petat eveille. 

30 Avantageusement Pensemble capteur - unite 61ectronique de traitement est realist 

comme decrit et illustre dans les deux demandes de brevet susmentionnees ayant le meme 
inventeur que la presente. 
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L'invention a egalement pour objet, a titre de produit industriel nouveau, un retro- 
viseur de vehicule automobile, caracterise en ce que son miroir est constitue par une glace 
sans tain et en ce qu'il comporte, derriere cette glace, un capteur optoelectronique qui 
coopere avec une unite electronique telle que decrite dans la demande de brevet francais 
5 N° 96.09420 deposee le 26 juillet 1996 et la demande de brevet international (P.C.T.) 
PCT/FR97 /01354 deposee le 22 juillet 1997, cette unite etant egalement disposee a 
l'interieur du retroviseur et etant apte a declencher un dispositif d'alarme des que ladite 
unite determine que les mouvements verticaux des paupieres d'une personne regardant la 
face avant de ladite glace correspondent a une duree des clignements des yeux qui depasse 
10 un seuil predetermine inclus dans l'intervalle temporel compris entre la duree des 
clignements d'une personne eveillee et celle d'une personne qui somnole. 

De preference ledit retroviseur porte au moins une diode electroluminescente au 
moins dans l'infra-rouge qui est activee au moins lorsque la luminosite ambiante devient 
insuffisante pour eclairer le visage du conducteur, ledit capteur optoelectronique etant sen- 
1 5 sible, entre autres, aux radiations infra-rouges emises par ladite diode. 

Avantageusement, dans le dispositif ainsi que le retroviseur selon l'invention, le 
capteur, ladite electronique associee et ledit circuit integre sont constitutes par une puce 
electronique (chip) disposee a l'interieur du boitier du retroviseur. 

On va decrire maintenant un mode de realisation prefere d'un dispositif selon 
20 l'invention, mettant en oeuvre le precede selon l'invention, ainsi que certaines variantes de 
celui-ci, avec reference aux dessins annexes, sur lesquels : 

Les figures 1 et 2 sont des vues, respectivement de cote et par-dessus, illustrant 
schematiquement la tete d'un conducteur de vehicule automobile et ses axes de vision vers 
l'avant et vers rarriere. 

25 La figure 3 illustre schematiquement la disposition classique du miroir d'un retro- 

viseur interieur dans un vehicule automobile et les differents axes de vision du conducteur, 
cette figure correspondant a l'etat de la technique. 

Les figures 4 et 5 represented respectivement l'ensemble et les articulations d'un 
retroviseur avec le.capteur optoelectronique et son electronique associee dans le cadre de 

30 l'invention. 

La figure 6 illustre le champ du capteur optoelectronique prevu dans le retroviseur 
des figures 4 et 5. 
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Les figures 7 et 8 representent la maniere de cadrer le visage du conducteur en 

place. 

Les figures 9 et 10 representent la maniere de cadrer les yeux du conducteur en 

place. 

5 Les figures 1 1 et 12 sont relatives a la mesure de la duree des clignements des yeux 

du conducteur et des intervailes temporels separent deux clignements successifs. 

La figure 13 represente rordinogramme des phases successives de fonctionnement. 

La figure 14 illustre les avantages de la mise en ceuvre, comme capteur, d'un 
capteur de type MOS. 

10 La figure 15, enfm, est une variante de la figure 9, la zone d'observation privilegiee 

englobant le nez, en plus des yeux. 

En se referant tout d'abord aux figures 1 a 6, on va commencer la description 
detaillee du mode de realisation pr^fere de Pinvention par celle du dispositif optique et 
mecanique avec le capteur optoelectronique (micro-camera video ou capteur MOS avec 

15 lentille incorporee) et son ensemble electronique associe, constitue essentiellement par une 
ou plusieurs puces, qui transforme Pimage captee par le capteur en un signal video qui est 
trait e afm de detecter une tendance a l'endormissement du conducteur en place, observe 
par ledit capteur. 

En effet Pinvention utilise essentiellement la variation de la duree des clignements 
20 des yeux d'une personne lors du passage de Petat eveille a Petat somnolent ou assoupi de 
celle-ci : une personne eveillee cligne, a intervailes relativement reguliers, des paupieres, et 
done des cils, en 100 a 200 ms environ, tandis que la duree des clignements de cette 
personne a l'etat somnolent passe a 500 a 800 ms environ, les intervailes entre clignements 
augmentant et 6tant variables. 
25 Dans le signal video en provenance du capteur optoelectronique & 50 ou 60 trames 

conespondantes (de meme nature) par seconde, on realise une detection toutes les 20 ms 
ou 16,66 ms respect ivement, ce qui permet de distinguer facilement des durees de 100 a 
200 ms ou de 500 a 800 ms (5 & 10 trames pour Vital eveille ou au contraire 25 a 40 trames 
pour P&at somnolent dans le cas de 50 trames de meme nature par seconde) et done de 
30 distinguer l'etat eveille de Petat somnolent ou assoupi d'une personne. 

Pour une utilisation d'une telle distinction dans le cas du conducteur d'un v^hicule 
automobile, il est desirable de visualiser au mieux la face du conducteur, e'est-a-dire de di- 
nger Paxe optique d'entree ou reception dudit capteur vers le visage de celui-ci. Le moyen 
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prevu dans le mode de realisation prefere de l'invention consiste a profiter du fait qu'un 
conducteur dirige le retroviseur de son vehicule vers son visage de maniere qu'il ait une 
vue vers Tarriere du vehicule par reflexion sur le miroir du retroviseur. 

On rappelle, avec reference aux figures 1 a 3, le fonctionnement des retroviseurs 
5 classiques loges a Tint6rieur d'un vehicule en position centrale, en etant fixes, avec 
possibilite d'ajustement de T orientation de leur miroir, sur une portion de la carrosserie a 
Tinterieur du vehicule. 

Les figures schematiques 1 et 2 montrent, vue de cot6 et de dessus respectivement, 
la tete T d'un conducteur qui peut observer la rue ou route sur laquelle se trouve son 
10 vehicule, d'une part, devant lui (fleche 1) et, d'autre part, derriere lui (fleches 2a et 2b) 
grace au miroir 3 du retroviseur convenablement oriente. Lesdites fleches 1, 2a, 2b 
represented le parcours des rayons lumineux, 2b correspondant au rayon reflechi sur le 
miroir 3. 

En considerant maintenant la figure schematique 3, qui represente le miroir 3 du 

15 retroviseur, miroir fixe par un bras 4 sur une portion 5 de la carrosserie a Tinterieur du 
vehicule, avec possibilite d'orientation, on retrouve les axes de visee ou fltehes 1, 2a, 2b 
des figures 1 et 2. On peut noter que les axes ou fleches 1 et 2b sont paralleles et sont 
diriges suivant la direction de la rue ou de la route. 

Sur cette figure 3, on a egalement represente, mais en traits interrompus, Taxe 

20 optique 6 perpendiculaire a la face 3a du miroir 3 d'un retroviseur interieur qui divise 
Tangle forme par les directions 2a et 2b en deux moities egales (angles a et b egaux) 
d'apres les lois de la reflexion, et Taxe 7 perpendiculaire a l'axe 2b et done paraltele a la 
portion de support 5, Tangle c entre les directions 7 et 3a etant egal aux angles b et a. 

Ces principes de fonctionnement des retroviseurs interieurs etant rappeles, on va 

25 maintenant avec reference aux figures 4 et 5, exposer le montage mecanique permettant de 
dinger efFectivement Taxe optique d'entree du capteur opto61ectronique vers le visage du 
conducteur en place, en profitant du fait que le miroir 3 d'un retroviseur est oriente par le 
conducteur en place, lorsque cela n'est pas deja le cas, pour que Taxe 2a de visee par le 
conducteur soh dirige vers la tete T de celui-ci. En efFet, si Taxe optique d'entree du 

30 capteur est effectivement dirige vers la face de conducteur, le signal video produit par 
celui-ci contiendra les informations necessaires pour determiner la duree des clignements 
des yeux de celui-ci. 
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Tout d'abord dans le cadre du mode de realisation prefer^ de Pinvention, le 
retroviseur 8 comprend, contrairement au retroviseurs classiques, une glace sans tain 9 
(figure 4) dont la face 9a dirigee vers le conducteur joue le meme role que la face 3a du 
miroir 3 d'un retroviseur classique (figure 3), mais qui permet a un capteur 10 (constitue 
5 par une micro-camera electronique ou un capteur MOS a lentille incorporee), port6 par un 
support 11 (tournant avec le miroir sans tain 9), de recevoir au moins Timage du visage du 
conducteur en place lorsque le miroir sans tain 9 (avec le retroviseur 8) est convenablement 
oriente par le conducteur pour percevoir la rue ou la route derrtere lui ou est deja ainsi 
oriente (comme c'est le cas pour le miroir classique 3 de la figure 3). 

10 L'articulation mecanique type Cardan, illustrte sur les figures 4 et 5 (cette derniere 

figure etant une vue plus detaillee d'une portion de la figure 4), permet l'orientation auto- 
matique correcte du support 11, avec le capteur 10, par le conducteur lorsqu'il rtgle son 
retroviseur ou lorsque celui-ci est deja regie, et done de la face receptrice 10a du capteur 
10 pour qu'elle re^oive Timage du visage du conducteur en place, son axe optique d'entree 

15 10ft etant dirige vers la tete du conducteur en place du fait de Tangle entre le miroir 9 et le 
support 1 1 du capteur 10. 

A cet efifet l'articulation pour le support 1 1 comprend deux tiges 12 et 13 articulees 
librement entre elles par une rotule \4a (figure 4) ou un manchon 146 (figure 5.). La tige 
12 est fixee a une portion 5 de la carrosserie par une de ses extremites et traverse le boitier 

20 du retroviseur 8 grace a la rotule 15 (constitute par une bille et deux calottes sensiblement 
hemispheriques) avant de penetrer par son autre extremite dans le manchon 146 ou etre 
fixee a la rotule 14a, tandis que la tige 13 porte rigidement, a une extremity, le support 11 
du capteur 10 et traverse Tetrier 16 du retroviseur 8 grace a une rotule creuse 17 (a bille 
traversee par un canal dans lequel est engagee la tige 13 et tournant dans deux calottes 

25 sensiblement hemispheriques portees par Tetrier 16) avant de rejoindre par son autre 
extremite la rotule 14a ou le manchon 146. 

Une telle articulation, qui maintient en permanence un angle approprie entre le 
miroir 9 et le support 1 1, permet a la fois l'orientation habituelle du retroviseur interieur 
par le conducteur et Torientation du support 1 1 du capteur 10 pour que la face 10a de ce 

30 capteur revive Timage d'au moins le visage du conducteur en place lorsque le retroviseur 
est convenablement oriente. 

Le capteur optoelectronique 10 debite par un conducteur 18 dans une unite 
electronique d'analyse 19 (avantageusement constitute par un boitier a puce ou puces log€ 



WO 99/36894 



PCT/FR99/00060 



13 

a l'interieur du retroviseur 8) le signal video qu'il elabore a partir de l'image qu'il refoit 
sursaface 10a. 

On peut prevoir des diodes electroluminescentes 20 pour emettre, en direction du 
conducteur en place, lorsque le retroviseur est correctement oriente, un rayonnement 
5 infrarouge apte a eclairer au moins le visage de conducteur en place, lorsque la lumiere 
d'ambiance (y compris celle du tableau de bord) est insuffisante pour le fonctionnement 
correct du capteur 10, qui dans ce cas doit etre sensible au rayonnement infrarouge, et de 
son unite electronique 19 ; l'excitation, eventuellement progressive, de ces diodes est, par 
exemple, controlee par 1 'unite electronique 19 grace a une cellule photoelectrique (non 
10 representee) ou en reponse a des signaux de pixels (dans le signal video) d'intensite 
insuffisante (comme represents schematiquement par le conducteur 21). 

L'alarme activee, en cas d'endormissement du conducteur, par l'unite electronique 
19 est illustrSe schematiquement en 22 sur le figure 4, sur laquelle on n'a pas illustre les 
alimentations du capteur 10, de l'unite electronique 19 et des diodes 20, pour siraplifier 
15 cette figure. 

L'unite 19 pourrait, en variante, etre disposee hors du boitier du retroviseur. 
On va maintenant exposer le traitement, dans l'unite electronique d'analyse 19, du 
signal video issu du capteur optoelectronique 10 (a micro-camera electronique ou capteur 
MOS avec lentille incorporee suivie d'une unite electronique), ce signal video comportant 

20 une succession de trames correspondantes (de meme nature) a la cadence de 50 ou 60 telles 
trames par seconde (soit les trames paires ou bien impaires dans le cas d'un signal a deux 
trames entrelacees par image, soit les trames uniques dans le cas d'un signal a une seule 
trame par image) ; ce traitement a pour objet de realiser la surveillance de la vigilance du 
conducteur en place en determinant, en temps reel et en continu, la durte des clignements 

25 de ses yeux et en declenchant, en cas de tendance du conducteur a Tendormissement 
(revflee par la variation de cette duree), un signal d'alarme apte a eveiller celui-ci. 

Le procede et le dispositif, selon la presente invention mettant en oeuvre, pour 
reperer et localiser une zone en mouvement (i savoir successivement le conducteur, son 
visage et ses yeux, en particulier ses paupteres) et determiner la direction et eventuellement 

30 la vitesse de ce mouvement, le procede et le dispositif selon les demandes de brevet sus- 
visees, dont les descriptions sont incorporees dans la presente description detaill£e par 
reference, il est utile de resumer le processus d6crit dans ces demandes de brevet. 
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Dans ces demandes, le signal video (produit par une camera video ou autre 
capteur), qui comprend une succession de trames de meme nature (constitutes par les 
trames correspondantes, soit paires, soit impaires, dans le cas d'un systeme video a deux 
trames entrelacees par image, soit les trames successives dans le cas d'un systeme video a 
5 trame unique par image), est traits pour successivement 

- deduire, des variations de la valeur ou intensite de chaque pixel entre une trame et la 
trame correspondante anterieure, 

• d'une part, un signal binaire, note DP, dont les deux valeurs possibles sont 
representatives, Tune, d'une variation significative de la valeur du pixel et, 1'autre, 

10 d'une non-variation significative de cette valeur, valeurs notees par exemple «1» et 

«0» respectivement, et 

• d'autre part, un signal numerique, note CO, a nombre reduit de valeurs possibles, ce 
signal etant representatif de la grandeur de cette variation de la valeur du pixel ; 

- repartir suivant une matrice, par roulement, des valeurs de ces deux signaux DP et CO 
1 5 pour une meme trame qui defile a travers la matrice ; et 

- deduire, de cette repartition matricielle, le d^placement recherche et ses parametres 
(localisation, direction et vitesse). 

Cette derniere operation de detection du deplacement met en preference en ceuvre, 
selon ces demandes de brevet precitees, 
20 - la formation d'histogrammes, suivant deux axes, par exemple Ox et Oy orthogonaux, 
d'au moins les signaux DP et CO, repartis matriciellement dans Poperation precedente, 
et 

- le reperage, dans chacun des histogrammes relatifs a DP et CO, d'un domaine de 
variation significative de CO avec simultanement DP - «1». 

25 La presente invention, realise successivement, par mise en ceuvre du proc6de et 

dispositif selon les demandes de brevet precitees, dont on vient de resumer le processus, 

- dans une phase preliminaire, la detection de la presence d'un conducteur en place ; 

- dans une premiere phase, le cadrage du visage du conducteur dans les trames de meme 
nature, ou correspondantes, successives du signal video ; 

30 - dans une deuxieme phase, le cadrage des yeux du conducteur a Pinterieur du cadrage 
du visage ; 
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- dans une troisieme phase, la determination des durees successives des clignements des 
yeux du conducteur, et eventuellement la determination des intervalles de temps 
separant deux clignements successifs ; 

- dans une quatrieme phase, la comparaison des durees des clignements a un certain 
5 seuil, avec generation d'un signal d'alarme apte a eveiller le conducteur des que cette 

comparaison r6vele le depassement vers le haut de ce seuil par cette duree, et 
eventuellement la comparaison des variations temporelle des intervalles de temps entre 
deux clignements successifs a un autre seuil, avec generation d'un signal d'alarme 
renforce des que cette comparaison revele le depassement vers le haut de ce dernier 
10 seuil. 

On va decrire maintenant plus en detail la realisation de chacune de ces cinq phases 
par le procede et le dispositif selon T invention. 

La phase preliminaire, qui detecte la presence d'un conducteur en place et amorce 
la premiere phase de cadrage du visage, est declenchee par un contacteur actionne 
15 manuellement ou autrement, notamment par mise en oeuvre des proced6 et dispositif des 
demandes de brevet precitees ; elle commence efFectivement avec le reglage du retroviseur 
pour orienter la face avant 9a du miroir sans tain 9 de celui-ci (figure 4) vers le conducteur 
afin qu'il aper$oive dans ce miroir la rue ou route derriere lui, au cas il y a besoin d'un tel 
reglage. 

20 La figure 6 illustre, entre les directions 23a et 236, le champ 23 du capteur 10, la 

tete 7du conducteur devant se trouver, du fait du reglage du retroviseur interieur 8, tel que 
decrit avec reference aux figures 4 et 5, k 1'interieur et dans la zone centrale de ce champ 
conique 23. Ce champ peut etre relativement 6troit, etant donn6 que les d6placements de la 
tete T du conducteur au cours de la conduite sont limites (sauf rares exceptions) ; la 

25 limitation du champ ameliore la sensibilite du dispositif etant donne que Timage du visage 
du conducteur, qui est re9ue par la face 10a du capteur correctement oriente en meme 
temps que le miroir 9, occupe alors une place relativement importante dans les trames du 
signal video ; elle est done representee par un nombre de pixels qui est une fraction notable 
du nombre total des pixels par trame. 

30 Sur la figure 6 on retrouve les directions ou rayons lumineux 1, 2a et 2b de la figure 

3. 

La mise en place du conducteur est avantageusement detectee par les deplacements 
de sa tete, en particulier de son visage, pour venir en position de conduite, par mise en 
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ceuvre du procede et du dispositif selon les deux demandes de brevet precipes qui 
permettent de detecter les deplacements, comme rappele brievement ci-dessus. 

En fait l'arrivee du conducteur a sa place et le deplacement de sa tete Ten resultant 
sont reveles par le nombre important de pixels du signal video pour lesquels le signal 
5 binaire DP a la valeur « 1 » correspondant a une variation significative de la valeur du pixel 
entre deux trames correspondantes successives et le signal numerique CO a une valeur 
relativement elevee. 

Le rapport du nombre de tels pixels (avec DP et CO ayant les valeurs definies ci- 
dessus) au nombre total de pixels d'une trame, lors de la mise en place du conducteur, 

10 depend de la dimension du champ de vision du capteur de part et d'autre de la tete T en 
place pour la conduite. En cas de champ de vision etroit (angle reduit entre 23a et 23b 
figure 6), on peut considerer par exemple, que si plus de la moitte des pixels «en 
deplacement» d'une trame ont un DP et un CO avec les valeurs sus-avancees, il y a mise 
en place du conducteur. On peut alors considerer un seuil de 50 % entre le nombre de 

15 pixels «en deplacemenD) et le nombre total de pixels d'une trame et dans ce cas la phase 
preliminaire se termine par la production, lorsque ce seuil est d6passe vers le haut, d'un 
drapeau «1» de presence qui amorce la suite du traitement du signal video, en commen$ant 
par la premiere phase. Bien entendu le seuil retenu pour le declenchement du drapeau «1» 
peut etre different de 50 %, en tenant compte du champ de vision du capteur 10. 

20 En variante, le drapeau «1» de presence amount la premiere phase peut etre 

produit par une commande externe a Tunite electronique 19, mais declenchant celle-ci, par 
exemple provoqute par l'actionnement de la cle de contact, le bouclage de la ceinture de 
sdcurM du conducteur ou le flechissement du siege du conducteur sous son poids. 

Lorsque la presence du conducteur a ete revilee et le drapeau «1» de presence 

25 genere, la premiere phase de traitement du signal vid6o peut commences Elle consiste, 
comme indique prec&lemment, a cadrer le visage du conducteur dans le signal video en 
61iminant les portions superflues, en haut, en bas, a droite et a gauche de la tete dans 
l'image perdue par le detecteur 10. 

A cet effet, par mise en oeuvre du procede et du dispositif selon Tinvention, ce sont 

30 les deplacements horizontaux, c'est-4-dire de la droite vers la gauche et inversement, qui 
sont d&ectes, car la tete d'un conducteur a tendance i se deplacer horizontalement plut6t 
que verticalement, c'est-a-dire de haut en bas et inversement. 
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On extrait, done, du flot des donnees representees dans les trames correspondantes 
successives du signal video, un signal de deplacement horizontal, en position, sens et even- 
tuellement vitesse, grace a la matrice roulante des valeurs de DP et CO t et on I'analyse par 
selection suivant deux axes de coordonnees privileges, par exemple les axes classiques Ox 
5 et Oy des coordonnees cartesiennes, par mise en oeuvre des moyens de formation 
d'histogrammes des demandes de brevet precitees. 

La comptabilisation, en fin de trames, des pixels representatifs d'un deplacement 
horizontal permet de detecter des pics de deplacement le long des bords du visage, pour 
lesquels les variations de luminosite, done de valeur de pixel, sont les plus importantes, 
10 aussi bien en projection horizontale suivant Ox qu'en projection verticale suivant Oy par 
exemple. 

Ceci est illustre sur la figure 7 sur laquelle on a represente les axes Ox et Oy, ainsi 
que les histogrammes 24x, suivant Ox, et 24y, suivant Oy, e'est-a-dire en projection 
horizontale et verticale respectivement. 

15 Les pics 25a et 25b, de Thistogramme 24x, et 25c et 25d, de l'histogramme 24y, 

ddlimitent, par leur coordonnes respectives 26a, 26b, 26c, 26d, un cadre limite par les 
droites Ya, Yb, Xc, Xd qui renferme le visage V du conducteur entoure par les ondulations 
respectives 27a, 21b, 21c, 27</qui illustrent les legers mouvements du conducteur dans les 
zones de plus grande variation des intensites des pixels, lors de ses mouvements. 

20 Le reperage des coordonnees 26a, 26b, 26c et 26d 9 correspondant aux quatre pics 

25a, 256, 25c et 25d des deux histogrammes 24x et 24y, permet done de mieux definir et 
cadrer l'emplacement du visage Kdu conducteur dans la zone Z et d'&iminer, pour la suite 
du traitement du signal video, les portions superieure, inferieure, de droite et de gauche par 
rapport au cadre Xc, Xd, Ya, Yb, comme illustre sur la figure 8 par des zones hachurees 

25 encadrant le visage V, ce qui permet d'accroitre la precision, et eventuellement la cadence, 
de Tanalyse portant sur la zone centrale Z, non hachuree, encadree par les droites Xc, Xd, 
Ya, Yb et contenant le visage K 

Cette operation de cadrage du visage entier est renouvelee a intervalles reguliers, 
par exemple toutes les dix trames du signal video, et les valeurs moyennes (au cours du 

30 temps) des coordonnees 26a, 266, 26c, 26d, sont d&ermintes, en red^finissant le cadre, 
ligerement variable, mais relativement stable, Xc, Xd, Ya, Yb autour du visage V. On 
constate done que ia position dudit cadre (avec la zone limitee pour Tanalyse ulterieure) est 
tres robuste, e'est-a-dire stable au cours du temps. 
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Un nouveau drapeau «1» de visage cadre est produit apres &ablissement du cadrage 
du visage Fdu conducteur. 

La production de ce drapeau declenche la deuxieme phase, qui consiste a reduire 
encore plus le cadre du traitement, a savoir a celui des yeux du conducteur. 

5 Cette deuxieme phase comporte, de preference, une operation preliminaire 

consistant a utiliser, dans Punite electronique 19, le rapport anthropometrique habituel 
entre la zone des yeux et 1'ensemble du visage chez un etre humain, notamment dans le 
sens vertical, la zone des yeux occupant seulement une portion limitee du visage entier. 

L'unite electronique 19 determine alors, dans cette operation preliminaire, par ratio 

10 un cadre Z' plus limite, incluant les yeux U du conducteur, dans le cadre precedent Z du 
visage V, limite par Ya, Yb, Xc, Xd, ce cadre Z' etant, comme illustre sur la figure 9 defini 
par les droites Y'a, Yt, X'c ttX'dk l'interieur du cadre Ya, Yb, Xc, Xd (zone Z). 

On elimine ainsi les zones hachurees externes (simples hachures) sur la figure 9 
pour ne conserver que le cadre Z\ ce qui facilite le cadrage definitif des yeux dans la 

1 5 deuxieme phase et augmente sa precision et la vitesse de sa determination. 

Apres la fin de cette operation preliminaire si elle existe, ce qui genere un drapeau 
«1» de cadrage grossier des yeux, ou directement apres la premiere phase de traitement, 
c'est-a-dire respectivement en reponse a l'apparition du drapeau «1» de cadrage grossier 
des yeux ou du drapeau «1» de visage cadre respectivement, Punit6 electronique 19 

20 effectue la deuxieme phase de cadrage effectif plus serrt des yeux du conducteur en 
detectant, dans la matrice des DP et CO, les emplacements de pixels pour lesquels DP = 1 
et CO presente une valeur 61evee, notamment pour des deplacements dans le sens vertical 
du fait que les paupieres clignent de haut en bas et inversement. 

Lorsque le nombre de tels emplacements de pixels atteint un certain seuil dans le 

25 cadre Y'a, Y% X'c, X'd (zone Z) dans le cas ou 1'opfration preliminaire est prevue ou dans 
le cadre Ya, Yb 9 Xc, Xd (zone Z) en Tabsence d'une telle operation preliminaire, ce seuil 
&ant par exemple de 20 % par rapport au nombre total de pixels dans le cadre Yb, Y*b, X'c, 
X'd dans le premier cas et de 10 % par rapport au nombre total de pixels dans le cadre Ya, 
Yb, Xc, Xd dans le second cas, un drapeau «1» de cadrage fin des yeux est gener6 ; ce 

30 drapeau indique en fait que les paupteres du conducteur sont actives, car il est provoqui 
par les clignements des yeux du conducteur ; mouvements dans le sens vertical rep6r& de 
la meme maniere que les deplacements horizontaux du visage du conducteur dans la 
premiere phase. 
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Sur la figure 10 on a illustre le cadre eventuel Y'a, Vb, X'c, X'd, definissent la zone 
Z'de cadrage grossier des yeux du conducteur, ainsi que les histogrammes 28x selon l'axe 
Ox et 28y suivant l'axe Oy des deplacements verticaux des paupieres du conducteur, c'est- 
a-dire des pixels de la matrice revelant, par leur DP et leur CO, de tels deplacements. Ces 

5 histogrammes 28x et 28y, qui correspondent aux histogrammes 24x et 24y des 
deplacements horizontaux du visage du conducteur, illustre* sur la figure 7, determinent, 
par leurs pics 29a, 294, 29c, 29a", des droites horizontales X"c et X"d et des droites 
verticales Y"a et Y"b definissant, a l'interieur de la zone Z\ une zone Z" qui encadre les 
yeux du conducteur dont les deplacements des bords sont indiques en 30a et 306 pour un 

10 ceil et 30c et 30a" pour l'autre ceil. 

La position du cadre Y"a, Y% X"c, X"d est reactualisee par determination des 
valeurs moyennes au cours du temps, par exemple toutes les dix trames, des coordonnees 
des pics 29a, 296, 29c, 29a" et, a partir de la production du drapeau «1» de cadrage fin des 
yeux, ce sont seulement les pixels compris dans le cadre limite de la zone Z" qui sont 

1 5 traites dans la troisieme phase declenchee par ce drapeau (la zone Z" etant figuree en blanc 
sur la figure 9). 

Dans cette troisieme phase sont determinees les durees des clignements des yeux, et 
eventuellement les intervaUes de temps separant deux clignements successifs, en perfec- 
tionnant l"analyse des deplacements verticaux des paupieres dans la zone Z"par traitement 
20 dans l'unite electronique 19 des portions des trames successives du signal video corres- 
pondant a cette zone Z ", ce qui permet une grande precision. 

Sur la figure 11 on a illustre dans un systeme de coordonnees suivant trois 
directions orthogonales entre eUes, a savoir OQ sur laquelle on a port6 CO, c'est-a-dire les 
intensites de la variation de la valeur de pixel, correspondant au mouvement vertical des 
25 paupieres, Ot sur laquelle on a porte les intervals de temps entre deux clignements 
successifs et Oz sur laquelle on a porte les durees des clignements, done trois parametres 
differents permettant de determiner le passage de 1'etat eveille a Tetat endormi du 
conducteur. Deux clignements successifs Cj et C 2 sont representes sur la figure 11. 

La figure 12 illustre par la courbe C, sur la portion (a), la variation, dans le temps 
30 suivant Ot du nombre de pixels par trame en mouvement vertical significatif (pour lesquels 
DP = 1 et CO a une valeur relativement importante), les pics successifs Pi, P2, Ps du 
nombre de pixels en mouvement correspondant a des clignements. 
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Les trames correspondantes successives relatives a la courbe C sont representees, 
schematiquement et en partie, sur la portion (b) de la figure 12, par des traits verticaux, tels 
que 3 1, dont les pics P h P 2 , Pb sont encadres par des rectangles Rj, R 2t R3 respectivement, 
les deux portions (a) et (b) de la figure 12 etant disposees, Tune sous l'autre, en 

5 synchronisme temporel. Sur cette figure 12 on a represente enfin les durees des 
clignements (5,6,5) et les interfiles de temps (14, 17) entre clignements successifs, en 
nombre de trames, valeurs qui correspondent a l'etat eveille du conducteur. 

L'unite 61ectronique 19, dans cette troisieme phase, calcule les durees successives 
des clignements des yeux et les intervalles de temps successifs entre deux clignements 

10 consecutifs et fait une analyse statistique bi-dimensionnelle entre les durees successives 
des clignements et les intervalles entre clignements. Elle etablit si les durees des 
clignements depassent un certain seuil, par exemple 350 ms, et dans ce cas declenchent un 
drapeau «1» de seuil de clignement depasse et eventuellement si les intervalles de temps 
entre deux clignements successifs sont relativeraent constants ou au contraire 

15 significativement variables dans le temps, et dans le second cas declenchent un drapeau 
«1» d'intervalles entre clignements variables. 

Le premier drapeau sert a declencher une alarme, sonore par exemple, apte a 
reveiller le conducteur, tandis que le second drapeau renforce l'alarme, par exemple en 
augmentant le niveau sonore. 

20 L'ordinogramme annexe a titre de planche 6 (figure 13) resume les differentes 

phases successives. 

Le dialogue avec I'exterieur est realise, de preference en mode serie (CAN - VAN). 

L'ensemble du capteur, de Pelectronique associee et du processeur ou calculates 
peut-etre avantageusement integre dans une puce electronique (chip) logee dans le 
25 retroviseur interne du vehicule. 

Le retroviseur des figures 4 et 5 convient aussi bien pour un conducteur occupant le 
siege gauche que le stege droit, pour les pays a conduite a droite, et peut eventuellement 
etre un retroviseur exterieur, notamment du cote du conducteur. 

II est particulierement interessant d'utiliser un capteur de type MOS, qui permet 
30 une determination de la valeur de pixel, position par position de pixel, sans etre oblige 
comme dans le cas d'un capteur CCD d'extraire les valeurs de pixels ligne par lignes et 
position par position dans chaque ligne. 
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Comme represents sur la figure 14, il est alors possible de realiser une selection 
variable des positions de pixels : au lieu (a) d'examiner toutes les positions pp de pixels sur 
la totalite de Pimage (grand nombre de traitements), on peut (b) examiner seulement 
certains pixels mailles PP formant un reseau regulier representant la globalite de Pimage 
du visage du conducteur et son environnement immediat (efFet de zoom) ; enfin on peut (c) 
selectionner une zone particuliere ZP, a savoir celle des yeux en traitant seulement les 
pixels de cette zone.(puissance de traitement constante) 

Sur la figure 15, qui est une variante de la figure 9, dont elle reprend les references, 
on a prevu de selectionner pour la phase finale de surveillance du conducteur, non 
seulement la region des yeux (comme le cas de la figure 9), mais egalement des narines n 
du nez N, Pobservation des deplacements du contour ou taches sombres des narines 
permettent d'ameliorer le maintien de la zone d'observation incluant les yeux. 

Comme il va de soi, l'invention n'est pas limitee au mode de realisation prefer^ 
d^crit et illustre, ni a ses variantes mentionnees ci-dessus ; l'invention englobe au contraire 
les modifications, variantes et perfectionnement entrant dans le cadre des definitions de 
Tinvention donnees dans le preambule et les revendications jointes. 
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REVENDICATIONS 

1. ProcSde pour surveiller en continu F6tat de vigilance du conducteur d'un vehicule 
automobile, afm de detecter et prevenir une tendance Sventuelle a rendormissement de 
celui-ci, 

qui consiste 

- k produire un signal video representation temps r6el, des images successives d'au 
moins le visage du conducteur ; 

- a traiter ce signal, successivement et en continu, pour 

• detecter, dans ce signal, la portion correspondant effectivement & l'image de 
la tete du conducteur, 

• determiner la valeur d'un param&re relatif au clignement des paupieres, qui 
se modifie notablement lors du passage de F£tat eveille a Fetat somnolent du 
conducteur de part et d'autre d'un seuil, et 

• rep6rer, en temps reel, le franchissement, par la valeur de ce parametre, de ce 
seuil representatif du passage de Fetat dveille a Fetat somnolent du 
conducteur ; et 

- a declencher, en reponse au franchissement de ce seuil, une alarme apte a reveiller 
le conducteur ; 

et qui est caracterise en ce que 

- d'une part, le signal video est produit en utilisant un capteur optoelectronique 
solidaire d'un retroviseur du vehicule automobile, dimension^ et dispose pour 
recevoir essentiellement l'image du visage du conducteur en place sur son siege et 
ayant son axe optique de reception des rayons lumineux dirigd vers la tete du 
conducteur lorsque le r&roviseur est correctement orient^ ; et 

- d'autre part, le traitement dudit signal video consiste, apres avoir detect^ la 
pr&ence du conducteur a sa place, a, successivement et en continu , 

• detecter, a partir d'une analyse des pixels en deplacement entre deux trames 
successives de meme nature dudit signal vidfo, les d^placements 
horizontaux du conducteur, afin de cadrer le visage de celui-ci dans les 
trames correspondantes successives du signal video, 
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• detecter, a partir d'une analyse des pixels en deplacement entre deux trames 
successives de meme nature dudit signal vid£o, les deplacements verticaux 
dans le visage, ainsi cadr£, du conducteur, afin de cadrer les yeux de celui-ci, 

• determiner, a partir d'une analyse des pixels en deplacement entre deux 
5 trames successives de meme nature dudit signal video, les durees successives 

des clignements des yeux, ainsi cadr£s, de celui-ci, ces durees constituant le 
dit parametre, 

• comparer ces durees successives des clignements, ainsi d&erminees, a un 
seuil representatif du passage de l'etat eveille a l'etat somnolent du 

10 conducteur, et 

• declencher, lorsque les durees de clignement depassent vers le haut le dit 
seuil, une alarme apte reveiller le conducteur. 

2. Precede selon la revendication 1, caracterise en ce que ledit capteur est plac6 dans le 
boitier du retroviseur derriere la glace de celui-ci qui est constitute par un miroir sans 

15 tain, l'axe optique de reception (2a) dudit capteur &ant symetrique a un axe (2b) 
oriente dans le plan vertical median dudit vehicule, par rapport a un axe (6) orthogonal 
au dit miroir sans taia 

3. Precede selon la revendication 1 ou 2, caracterise en ce qu'on d6tecte la presence du 
conducteur a sa place en determinant le nombre de pixels correspondants dans les 

20 trames successives de meme nature du signal video pour lesquels un deplacement 
significatif est detect^ et en comparant ce nombre au nombre total de pixels par trame 
du signal vidto, afin de determiner si le rapport entre le nombre de pixels representant 
un deplacement et le nombre total de pixels par trame dSpasse un seuil representatif du 
passage de Tabsence de conducteur a sa place a la presence d'un conducteur a sa place. 

25 4. Precede selon la revendication 1, 2, ou 3 caracterise en ce qu'entre les phases de 
detection des deplacements horizontaux, afin de cadrer le visage du conducteur, et de 
detection des deplacements verticaux, afin de cadrer les yeux de celui-ci, on prtvoit 
une phase de cadrage large des yeux en se limitant k une portion du visage cadre 
englobant les yeux et leur environnement immediat, par application du rapport 

30 anthropomdtrique entre ladite portion et le visage entier d'une personne. 

5. Proc£d6 selon Tune quelconque des revendications precedentes, caracterise en ce, 
simultanement a la phase de determination des durees des clignements des yeux, on 
prevoit une phase de determination des intervalles de temps separant deux clignements 
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successifs de ceux-ci et on declenche une alarme renforcee des que ces intervalles de 
temps presentent une irregularis qui depasse un seuil determine. 

6. Procede selon Tune quelconque des revendications precedentes, caracterise en ce qu'on 
reactualise en continu les donnees concernant au moins un des parametres suivants : 
deplacements horizontaux, deplacements verticaux, durees des clignements des yeux, 
intervalles entre clignements successifs, afin de perfectionner les approximations des 
valeurs normales de ces parametres pour le conducteur effectivement present et a Tetat 
eveille. 

7. Procede selon Tune quelconque des revendications precedentes, caracterise en ce que 
les differentes phases successives du procede sont realisees au moyen de programmes 
informatiques successifs portant sur le traitement des valeurs successives des pixels 
correspondants des trames de meme nature du signal video obtenu a partir dudit 
capteur. 

8. Dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule 
automobile, afin de detecter et pr^venir une tendance eventuelle a rendormissement de 
celui-ci, qui met en ceuvre le procede selon Tune quelconque des revendications 1 & 7 
et qui est caracteris6 en ce qu'il comprend, en combinaison : 

a) un capteur opto61ectronique (10), qui, en combinaison avec une electronique associee 
(19), elabore, en reponse a la reception de rayons lumineux, un signal video a trames de 
meme nature, ou correspondantes, successives, ledit capteur etant solidaire d'un 
retroviseur (8) du vehicule automobile et dimensionnd et dispose pour recevoir 
essentiellement Timage du visage du conducteur en place sur son siege et ayant son axe 
optique (10b) de reception des rayons lumineux dirige vers la tete (T) du conducteur 
lorsque le retroviseur est correctement oriente ; et 

b) au moins d'un circuit integre comportant 

- des moyens pour detecter la presence du conducteur a sa place dans le vehicule, et 
pour elaborer un signal de presence ; 

- des moyens, actives par ce signal de presence, pour detecter, a partir d'une analyse 
des pixels en deplacement entre deux trames successives de meme nature dudit 
signal video, les deplacements horizontaux de dit conducteur, afin de cadrer le 
visage (V) de celui-ci dans les trames successives de meme nature dudit signal 
video, et pour ^laborer un signal de fin de cadrage de visage ; 
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- des moyens, actives par ledit signal de fin de cadrage du visage, pour detecter, a 
partir d'une analyse des pixels en deplacement entre deux trames successives de 
meme nature de la portion des trames successives de meme nature dudit signal 
video correspondant au cadrage du visage, les d^placements verticaux dans le 

5 visage, ainsi cadr6, du conducteur, afin de cadrer les yeux (U) de celui-ci dans 

ladite portion des trames de ce signal, et pour elaborer un signal de fin de cadrage 
des yeux du conducteur ; 

- des moyens, actives par ledit signal de fin de cadrage des yeux, pour determiner, & 
partir d'une analyse des pixels en deplacement entre deux trames successives de 

10 meme nature de la portion des trames successives de meme nature dudit signal 

video correspondant au cadrage des yeux, les durees successives des clignements 
des yeux du conducteur ; 

- des moyens pour comparer ces durees successives des clignements, ainsi 
d&erminees, a un seuil representatif du passage de Petat eveille a l'etat somnolent 

15 du conducteur ; et 

- des moyens pour declencher, lorsque les durees des clignements dSpassent ledit 
seuil, une alarme (22) apte a reveiller le conducteur. 

9. Dispositif selon la revendication 8, caracterise en ce que ledit capteur (10) est plac6 
dans le boitier du retroviseur (8) derriere le miroir de celui-ci, qui est un miroir (9) sans 

20 tain, ledit capteur (10) &ant porte par une premiere extremite d'une premiere tige (13) 
traversant, a travers une rotule (17), un etrier (16) porte par le boitier du r6troviseur (8), 
a 1'intdrieur de celui-ci, la seconde extremite de cettetige (13) etant articutee librement, 
au moyen d'un joint (14a,14b), a la premiere extremite d'une seconde tige (12) 
traversant, a travers une rotule (15), le boitier du retroviseur (8), tandis que la seconde 

25 extremite de ladite seconde tige (12) est fix6e a la carrosserie du vehicule (en 5) au 
dessus du pare-brise, de maniere que l'axe optique de reception (2a) du dit capteur soit 
symetrique a un axe (2b) oriente dans le plan vertical median dudit vehicule, par 
rapport a un axe orthogonal (6) au dit miroir sans tain. 

10. Dispositif selon la revendication 8 ou 9,caract£ris6 en ce que lesdits moyens pour 
30 d&ecter la presence du conducteur a sa place et pour elaborer un signal de pr&ence 

sont constitues par des moyens pour determiner le nombre de pixels dans les trames 
successives de meme nature dudit signal video pour lesquels un deplacement 
significatif est detecte, des moyens pour comparer ledit nombre au nombre total de 
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pixels par trame du signal video, afin de determiner si le rapport entre le nombre de 
pixels correspondant a un deplacement et le nombre total de pixels par trame dipasse 
un seuil representatif du passage de Petat d'absence de conducteur a sa place k P£tat de 
presence d'un conducteur £ sa place. 

5 11. Dispositif selon la revendication 8, 9 ou 10, caracterise en ce qu'il comprend en outre 
des moyens, actives par ledit signal de fin de cadrage du visage, pour sSlectionner, dans 
ladite portion des trames successives dudit signal video correspondant au cadrage du 
visage, une portion r6duite correspondant a un cadrage large, ou grossier, des yeux du 
conducteur englobant les yeux et leur environnement immediat par application du 

10 rapport anthropometrique entre ledit cadrage large et le visage entier d'une personne et 
des moyens pour elaborer un signal de fin de cadrage large des yeux, ce signal activant 
lesdits moyens pour detecter les deplacements verticaux dans le visage du conducteur. 

12. Dispositif selon Tune quelconque des revendications 8 a 11, caracteris6 en ce qu'il 
comporte des moyens, fonctionnant en parallele avec lesdits moyens pour determiner 

15 les durees successives des clignements des yeux et done actives par ledit signal de fin 
de cadrage des yeux, pour determiner les intervalles de temps separant deux 
clignements successifs et pour declencher une alarme renforcee des que ces intervalles 
de temps presentent une irregularite qui depasse un seuil determine. 

13. Dispositif selon Tune quelconque des revendications 8 k 12, caracterise en ce qu'il 
20 comporte des moyens pour reactualiser en continu les donnees concernant au moins un 

des parametres suivants : deplacements horizontaux, deplacements verticaux, durtes 
des clignements des yeux, intervalles entre clignements successifs, afin de 
perfectionner les approximations des valeurs normales du parametre implique pour le 
conducteur efFectivement present et a Petat eveilte. 
25 14. Dispositif selon Tune quelconque des revendications 8 a 13, caracterise en ce que ledit 
ensemble capteur opto-flectronique(lO) - unite electronique (19) produit un signal 
video comportant une succession de trames correspondantes de meme nature a 
succession de lignes constitutes par une succession de pixels et traite le dit signal video 
pour successivement : 

30 - dtduire, des variations de la valeur ou intensity de chaque pixel entre une trame et la 
trame correspondante anterieure, 
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• d'une part, un signal binaire, note DP, dont Ies deux valeurs possibles sont 
representatives, Tune, d'une variation significative de la valeur du pixel et, l'autre, 
d'une non-variation significative de cette valeur, et 

• d'autre part, un signal numerique, note CO, a nombre rfduit de valeurs possibles, ce 
5 signal etant representatif de la grandeur de cette variation de la valeur du pixel ; 

- repartir suivant une matrice, par roulement, des valeurs de ces deux signaux DP et CO 
pour une meme trame qui defile a travers la matrice ; et 

- deduire, de cette repartition matricielle, le deplacement recherche et ses parametres de 
localisation et de direction. 

10 15. Dispositif selon Tune quelconque des revendications 8 a 14, caracterise en ce que ledit 
capteur (10), ladite electronique associee (19) et ledit circuit integre sont constitutes 
par une puce electronique (chip) disposee a I'interieur du boitier du retroviseur (8). 
16. Retroviseur de vehicule automobile, caracterise en ce que son miroir est constitut par 
une glace sans tain (9) et en ce qu'il comporte, derriere cette glace, un capteur opto- 

15 electronique (10) qui coopere avec une unite electronique (19), produit un signal video 
comportant une succession de trames correspondantes de meme nature a succession de 
lignes constitue par une succession de pixels et traite le dit signal video pour 
successivement : 

- deduire, des variations de la valeur ou intensity de chaque pixel entre une trame et la 
20 trame correspondante anterieure, 

• d'une part, un signal binaire, note DP, dont les deux valeurs possibles sont 
representatives, Tune, d'une variation significative de la valeur du pixel et, l'autre, 
d'une non-variation significative de cette valeur,et 

• d'autre part, un signal numerique, not& CO, a nombre reduit de valeurs possibles, ce 
25 signal etant representatif de la grandeur de cette variation de la valeur du pixel ; 

- ripartir suivant une matrice, par roulement, des valeurs de ces deux signaux DP et CO 
pour une meme trame qui d6file & travers la matrice ; 

- diduire, de cette repartition matricielle, le deplacement recherchS et ses parametres de 
localisation et de direction ; et 

30 - declencher un dispositif d'alarme (22) dbs que ladite unit£ determine que les 
mouvements verticaux des paupieres d'une personne regardant la face avant (9a) de 
ladite glace correspondent a une duree des clignements des yeux qui d6passe un seuil 
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predetermine inclus dans l'intervalle temporel compris entre la duree des clignements 
d'une personne eveillee et celle d'une personne qui somnole.. 

17. Retroviseur de vehicule automobile selon la revendication 16, caractSrisE en ce que 
ledit capteur (10) ), ladite electronique associee (19) et ledit circuit integrf sont 
constitutes par une puce Electronique (chip) disposee a l'interieur du boitier du 
retroviseur (8). 

18. Retroviseur de vehicule automobile selon la revendication 16 ou 17, caract&ise en ce 
qu*il porte en outre au moins une diode (20) electroluminescente au moins dans Finfra- 
rouge qui est activ^e au moins lorsque la luminosite ambiante devient insuffisante pour 
eclairer le visage du conduct eur et en ce que ledit capteur optoelectronique (10) est 
sensible entre autres, aux radiations infra-rouges emises par ladite diode. 
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